Yahudiler üzerinde Yunan hâkimiyetinden sonra Romalıların hâkimiyeti kuruldu.
mö.64-ms.324 yılları arasında Filistin Romalıların elindeydi. Roma İmparatorluğu Suriye üzerine yürüyerek Yahudileri hâkimiyeti altına almıştır.
Roma egemenliği döneminde başlangıçta Yahudilere iyi davranılmış, hatta hoşgörülü kanunlarla korunarak sınırlı bir yetki verilmiş, Yahudi halkının cemaat işlerinin tanzimi, Kudüs'te oturan büyük rahiplere bırakılmıştı. Ancak zamanla Roma idaresinde Yahudilere uygulanan vergilerin ağırlığı, feodal yöneticilerin zulmü ve dini gerekçeler yeni isyanları beraberinde getirmiş, Yahudiler arasında bağımsız bir Yahudi devleti kurma girişimleri yoğunlaşmıştır.
Bu amacı benimseyen Yahudiler Tevrat'a mutlak bağlılığı gerekli görüyorlar, Yahve (Tanrı) her şeyin efendisi olduğuna göre dünyanın bir gün Yahudilerin hükmü altına gireceğini, inançlarına bağlı kalırlarsa zafer elde edeceklerine inanıyorlardı.
Bütün bu gerekçeler ile Yahudiler, 66-73 tarihleri arasında tekrar ayaklandılar. Bu ayaklanma nedeniyle Roma orduları Kudüs'e yönelerek Bâbil sürgünü dönüşünde inşa edilmiş olan ikinci tapınağı yıkmışlardır. Bu olaydan sonra Yahudiler bölgeden göç etmeye zorlanmışlar, başta Mısır olmak üzere Romalıların hâkimiyeti altındaki farklı ülkelere sürülmüşlerdir.
Yahudiler, Romalılara karşı verdikleri mücadelede Tanrı'nın, Mabed'in Romalılarca yıkılmasına izin vermeyeceğine inanmışlardı. Ancak bu inançları, mabedin yıkılmasıyla boşa çıktı. Bu tarihten günümüze kadar da Süleyman Mabedi tekrar inşa edilmedi.